The Methodology and Practice of the Evaluation of Image Retrieval Systems and Segmentation Methods

Content-Based Image Retrieval is important for two reasons. First, the oft-cited growth of image archives in many fields, and the rapid expansion of the Web, mean that successful image retrieval systems are fast becoming a necessity if the mass of accumulated data is to be useful. Second, database retrieval provides a framework within which the important questions of machine vision are brought into focus: successful retrieval is likely to require genuine image understanding. In view of these points, the evaluation of retrieval systems becomes a matter of priority. There is already a substantial literature evaluating specific systems, but little high-level discussion of the evaluation methodologies themselves seems to have taken place. In the first part of the report, we propose a framework within which such issues can be addressed, analyse possible evaluation methodologies, indicate where they are appropriate and where they are not, and critique query-by-example and evaluation methodologies related to it. In the second part of the report, we apply the results of this analysis to a particular dataset. The dataset is problematic but typical: no ground truth is available for its semantics. Considering retrieval based on image segmentations, we present a novel method for its evaluation. Unlike methods of evaluation that rely on the existence or creation of ground truth, the proposed evaluation procedure subjects human subjects to a psychovisual test comparing the results of different segmentation schemes. The test is designed to answer two questions: does consensus about a ‘best’ segmentation exist, and if it does, what do we learn about segmentation schemes for retrieval? The results confirm that human subjects are consistent in their judgements, thus allowing meaningful evaluation. Key-words: evaluation, methodology, content-based, retrieval, semantics, image database, image segmentation, psychovisual test ∗ Signal Processing Laboratory, Department of Engineering, University of Cambridge, UK. ([email protected]) † Signal Processing Laboratory, Department of Engineering, University of Cambridge, UK. ([email protected]) in ria -0 00 71 82 5, v er si on 1 23 M ay 2 00 6 La Méthodologie et la Pratique de l’Evaluation de Systèmes de Recherche en Bases de Données Image et Méthodes de Segmentation Résumé : La recherche d’images par le contenu est importante pour deux raisons. Premièrement, la croissance d’archives d’images fréquemment citée dans beaucoup d’applications, et l’expansion rapide du Web, signifient qu’il est nécessaire d’utiliser des systèmes de recherche efficaces pour les bases de données afin que la masse de données accumulée soit utile. Deuxièmement, la recherche dans les bases de données image pose des questions importantes liées à la vision par ordinateur : une recherche efficace demande une véritable compréhension des images. Pour ces raisons, l’évaluation des systèmes de recherche dans les bases de données image devient une priorité. Il existe déjà une littérature importante évaluant des systèmes spécifiques, mais peu de discussions sont publiées sur les méthodes d’évaluation en soi. Dans la première partie de ce rapport, nous proposons un cadre dans lequel ces sujets peuvent être abordés, nous analysons des méthodologies d’évaluation possibles, indiquant quand elles sont pertinentes et quand elles ne le sont pas, et nous critiquons la technique “query-by-example” et les méthodes d’évaluation qui s’y rapportent. Dans la deuxième partie du rapport, nous appliquons les résultats de cette analyse à une collection spécifique d’images. Cette collection est problématique mais typique: il n’existe pas de vérité terrain sémantique. Considérant la recherche fondée sur la segmentation d’image, nous présentons une nouvelle méthode pour son évaluation. Contrairement aux méthodes d’évaluation qui reposent sur l’existence ou la création d’une vérité terrain, la méthodologie proposée utilise des sujets humains pour un test psychovisuel qui compare les résultats des différentes méthodes de segmentation. Le test est conçu pour répondre à deux questions : existe-t-il une segmentation “meilleure” que les autres et si oui qu’apprenons-nous des méthodes de segmentation pour la recherche dans des bases de données image? Les résultats confirment la cohérence des jugements humains, permettant ainsi une évaluation significative. Mots-clés : évaluation, méthodologie, contenu, recherche, sémantique, base de données image, segmentation, test psychovisuel in ria -0 00 71 82 5, v er si on 1 23 M ay 2 00 6 Methodology and Practice of Evaluation 3